Metric	Score
Weighted-F1	N/A
Hyphens-F1	N/A
Comma-F1	N/A
Ellipsis-F1	N/A
Fullstop-F1	N/A
QMark-F1	N/A
Colon-F1	N/A
Semicolon-F1	N/A
Excl-F1	N/A

Metric	Score
Weighted-F1	74.84
Hyphens-F1	59.83
Comma-F1	73.75
Ellipsis-F1	100.00
Fullstop-F1	81.89
QMark-F1	82.11
Colon-F1	58.87
Semicolon-F1	0.00
Excl-F1	22.22

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-C Comma-F1
1	wikinews186513 " poczuj się jak gwiazda " pod tym hasłem będzie przebiegał kolejny już dzień otwarty telewizji polskiej podczas spotkania z …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA …	0.00
2	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-…	0.00
3	wikinews183820 " kościół zawsze nalegał i przypominał że to jest obowiązek moralny wzięcia udziału w wyborach natomiast nie powinien się wyp…	O O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
4	wikinews227876 " uroczyście ogłaszam poniedziałek dniem radości narodowej awans do mistrzostw europy 2008 to historyczny moment " powiedział…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O …	0.00
5	wikinews228950 " niech cba poda od kogo się dowiedziało że r i k chodzą po warmii i mazurach i oferują załatwianie jakichś spraw pan k na pe…	O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O …	O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O …	0.00
6	wikinews196430 " lechu wałęso jest pan wielkim symbolem polski europy i świata który wierzy w wolność i odrzuca wszelkie formy dyktatury " m…	O O B-COMMA O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	0.00
7	wikinews185273 " european passion play 2008 " pod ta nazwą symfoniczno metalowy zespół z finlandii nightwish rozpocznie swoją trasę koncerto…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O B-…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O B-COMM…	0.00
8	wikinews227887 " wizyta premiera donalda tuska w niemczech jest nieprzygotowana już wiemy że w sprawie muzeum ii wojny światowej premier wró…	O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O …	0.00
9	wikinews189425 " discovery " wylądował na bieżni numer 33 w kennedy space center na florydzie dziś o godzinie 13 08 gmt kończąc misję sts 13…	O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-CO…	O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O B-COMMA O O O O O O B-COMMA O B-COMMA O O O B-COMMA O O O O O O O O O …	5.41
10	wikinews196417 " dlaczego ścigano wachowskiego a szczególnie dlaczego robiono rewizje wachowskiemu dlatego że chciano znaleźć oryginalne]] p…	O O O B-COMMA O O O O O O B-COMMA O O O B-COMMA O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O B-COMM…	O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O …	5.88
11	wikinews187921 " ars ante portas " to cykl wystaw twórczości artystów którzy bezinteresownie uczestniczyli w zbiorowym przedsięwzięciu artys…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O B-COMMA O O O …	O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O …	7.41
12	wikinews199816 hiszpan rafael nadal lider rankingu tenisistów pokonał niemca björna phaua 7 6 6 3 7 6 i awansował do drugiej rundy wielkoszl…	O O B-COMMA O O B-COMMA O O O O O B-COMMA O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O …	O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O …	13.16
13	wikitalks0017075 ani słowa o zachowaniach agresywnych kiedy poziom nikotyny spada a potrafią one być skrajne znam również sytuacje kiedy już…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-CO…	O O O O B-COMMA O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O B-COMMA O O O O …	22.22
14	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O B-COMMA O O O B-COMMA O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O …	35.71
15	wikinews231413 między 15 a 18 lipca 2007 roku lech kaczyński wraz z małżonką odbył podróż do stanów zjednoczonych w pierwszym dniu wizyty ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O …	40.00
16	wikinews181800 na podlasiu rozpoczęły się przedterminowe wybory do sejmiku województwa razem z nimi odbywa się referendum w sprawie przebieg…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O …	40.00
17	wikinews227317 drugiego maja wchodzi w życie rozporządzenie ministra transportu i budownictwa z dnia 20 kwietnia zmieniające rozporządzenie …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O …	40.00
18	wikinews180020 polska edycja wikinews wolnego źródła informacji opartego o technologię wiki ma już rok na początku 2005 roku po dyskusji na …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O B-COMMA O O O O O O B-COMMA O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O …	42.11
19	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	44.44
20	wikitalks001598 co za bzdura z tym że saiyanom nie rosły włosy może na głowie ale nie dotyczy to zarostu połowa saiyan miała zarost chyba ni…	O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O …	O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	46.15
21	wikinews188806 tygodnik gala już po raz siódmy ogłosił konkurs na najpiękniejszych polaków tych których podziwia się za mądrość osiągnięcia …	O O O O O O O O O O O B-COMMA O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O B-COMMA O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	48.00
22	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O B-COMMA O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O B-COMMA O O O B-COMMA O B-COMMA O O O B-…	48.65
23	wikinews180419 w poniedziałek w kolonii w meczu 1 8 finału szwajcaria została wyeliminowana z turnieju przez ukrainę w konkursie rzutów karn…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	50.00
24	wikinews180045 bogdan rymanowski odszedł z faktów tvn według spekulacji miał zastąpić kamila durczoka na stanowisku prezentera wiadomości w …	O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O …	50.00
25	wikinews226727 zarząd dróg i transportu w łodzi przedstawił harmonogram prac przy przebudowie trasy w z inwestycji obejmującej nie tylko wbu…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	50.00
26	wikitalks0016801 o co chodzi z tym " tramwaje w polsce " to może od razu ramka z " przejściami granicznymi w polsce " albo " puby w polsce "…	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O …	51.85
27	wikitalks008601 a co z wyrażeniem " oblucja " " w kościele rzymskokatolickim " dlaczego na wstępie tego artykułu jest napisane że ablucja to…	O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-CO…	O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O …	53.33
28	wikinews188298 armia pakistańska rozpoczęła ponad tydzień temu operację w górskich rejonach waziristanu w nalotach lotnictwa pakistanu i usa…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA …	54.55
29	wikitalks0014941 skąd informacja że krzyż i tablica były umieszczone nielegalnie czy autor edycji mógłby podać źródło czy liczy się dodanie …	O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-…	O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O …	54.55
30	wikinews184403 z powodu wykrycia infekcji gronkowca złocistego u siedmiu noworodków w wojewódzkim szpitalu specjalistycznym we wrocławiu zam…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMM…	54.55
31	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O B-COMMA O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O …	55.17
32	wikinews184105 4 października w godzinach wieczornych po raz 17 przyznano ig noble zwane też anty noblami dostają je naukowcy których badani…	O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-…	O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA …	56.00
33	wikitalks007788 link do " archiwalna strona wp pl z 12 lutego 1998 roku " nie dzial w chwili testowania dostep 2006 05 31 teraz dziala herr …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O …	O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	57.14
34	wikinews231720 na dzień otwarty z okazji dnia rodzicielstwa zastępczego zapraszają pracownicy miejskiego ośrodka pomocy rodzinie w słupsku z…	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O …	O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA …	58.82
35	wikinews230864 prezydent francji jacques chirac opuścił dziś wojskową klinikę val de grace w której spędził tydzień czasu powodem pobytu był…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O B-COMMA O O O O O O …	O O O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O …	58.82
36	wikinews239133 nasa ogłosiła w poniedziałek swoje plany dotyczące powrotu ludzi na księżyc głównym założeniem jest wysłanie czteroosobowej z…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O …	60.00
37	wikitalks002735 artykuł miesza tezy naukowe z tezami wyssanymi z palca oraz ew fiolozofii i religii nie mówiać przy tym która jest która nie…	O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O B-…	O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O …	60.00
38	wikitalks0012907 rozbudowałem znacząco w ostatnim czasie myślałbym o zgłoszeniu do da proszę o ewentualne uwagi pod tym kątem misiek2 pisz w…	O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O …	O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O O B-CO…	60.00
39	wikinews232784 apelem o jak najszybsze sfinalizowanie rokowań prowadzonych w ramach negocjacyjnej rundy dauha zakończył się szczyt 21 państw…	O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O …	61.54
40	wikinews229330 28 i 29 marca w zakopanem odbyły się zawody w slalomie kobiet i mężczyzn w ramach tradycyjnego memoriału bronisława czecha i …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA B-COMMA B-COMMA O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA B-COMMA B-COMMA O O O O O O O O O O O B-COMMA O …	61.54